关于开展中文语音识别和语音合成基础服务可信评估的通知

近年来，语音识别和语音合成技术各项性能取得显著进步，开始从实验室走向实际场景化应用，进入家居、车载、医疗、教育、移动设备等各个领域，成为智能语音平台服务和硬件终端的核心基础支撑。2019年，中国人工智能产业发展联盟AIIA（以下简称“联盟”）评估组开展了中文语音识别和语音合成可信评估系列工作，立项讨论并发布相应评估规范，共有四家企业参与首轮中文语音合成可信评估并获得证书，在质量基准度、定制相似度和场景表现力都表现突出，总体在7分以上（满分10分）。

可信评估依据联盟已发布的《中文语音识别基础服务指标评估规范AIIAPG 0025-2020》和《中文语音合成基础服务指标评估规范AIIAPG 009-2020》，评估规范充分贴近实际应用情况，考虑不同场景中环境、领域等因素，从用户角度出发总结相应评估指标和方法。为进一步推进语音识别和语音合成技术应用水平，增强用户对产品选择可信度，向采购方提供优质服务参考标准，联盟将开展中文语音识别基础服务和中文语音合成基础服务可信评估工作。企业可依照产品实际情况选择必要的测试指标项，通过多维度评估测试验证技术服务能力。

欢迎各单位积极报名参与！

一、评估项目

中文语音识别基础服务第一轮可信评估

中文语音合成基础服务第二轮可信评估

二、参考规范

《中文语音识别基础服务指标评估规范AIIAPG 0025-2020》

《中文语音合成基础服务指标评估规范AIIAPG 0009-2020》

三、评估步骤

1、商务确认：自通知发布起之日，请有意参评的企业可填写《中文语音识别基础服务指标参评需求表》和《中文语音合成基础服务参评需求表》，并发送至联系人邮箱，与联系人确认商务流程后即可参与测试工作。（点击“阅读原文”下载参评需求表，或复制文章链接下载。）

联系人：李荪18611353631 [e-mail]；张秋显18361297790  [e-mail]。

2、材料审查和技术测试：预计6月15日前完成所有参评企业测试工作。

3、专家评审会：拟将邀请相关技术专家对此次评估测试结果进行评审，评审会预计于6月15日至30日期间进行。

4、成果发布：通过专家评审的参评单位，可获得联盟颁发的相应证书。

参评需求表下载地址：

《中文语音识别基础服务指标参评需求表》

http://aiiaorg.cn/uploadfile/2020/0416/20200416035214720.xlsx 

《中文语音合成基础服务参评需求表》

http://aiiaorg.cn/uploadfile/2020/0416/20200416035309387.xlsx 

01

中文语音识别基础服务可信评估简介

一、评估对象

面向中文语音识别基础服务（在线/离线）

二、评估方法

评估将按照语音识别的评测方法，立足产品应用实际场景，就语音识别服务的基础识别能力和扩展识别能力，从以下维度进行综合评估：通用基础识别，选取大样本测试集，评测语音识别的字准确率和句准确率；环境适应识别，评测在远场、噪声环境下的识别能力；特定发音识别，评测在特殊发音人和具有环境噪声中服务的的语音识别能力；不同语速识别，评测在快、普通、慢语速下服务的语音识别能力；场景内容识别，评测在电信业务、车载驾驶、医疗健康、语言教育、新闻播报、文娱体育、金融服务、法律庭审、家居服务九大场景中对内容的识别能力；符号数字识别，评测对常用符号数字的识别能力；采样率支持，评测是否支撑多采样率的音频识别；快速定制功能，评测是否支持对特定文本的训练学习；错误纠正功能，评测对包含停顿、拖音、重复、吞字等口语情况音频的纠正能力。

本次中文语音识别服务评测，将依据评估规范中指标项建立不通过的测数据集，就中文语音识别服务返回文本结果，计算识别的字准确率或句准确率，评估方法包括检查和测试两类测评方法，具体如下：

（1）材料检查：测评对象提供系统名称、系统版本号、系统基本描述、系统功能说明、系统软硬件清单、行业实施案例说明、计费方式说明等基本信息，并以文档形式说明。

（2）测试：依据规范评测标准，将测试数据集识别为文本，计算语音识别的字准确率或句准确率。

02

中文语音合成基础服务可信评估简介

一、评估对象

面向中文语音识别基础服务（在线/离线）

二、评估方法

评估将从按照TTS-4S

（Standard.Similarity.Scene.Sevice）评测方法，立足产品应用实际场景，从四个维度进行综合评估：质量基准度，评测合成发音准确、清晰和自然程度；定制相似度，评测个性化音质合成还原相似程度；场景表现力，评测在电信业务、车载驾驶、医疗健康、语言教育、新闻播报、文娱体育、金融服务、法律庭审、家居服务九大场景中场景贴合程度；服务能力，评测系统服务可靠性和安全性。

本次中文语音合成服务评测，将依据评估规范中指标项构建不同测试集，就中文语音合成服务返回音频结果进行综合判定，评估方法包括检查和测试两类测评方法，具体如下：

（1）材料检查：测评对象提供系统名称、系统版本号、系统基本描述、系统功能说明、系统软硬件清单、行业实施案例说明、计费方式说明等基本信息，并以文档形式说明。

（2）测试：人工评测，依据规范评测标准，对合成音频质量进行主观打分，与教育部国家语言文字工作委员会协同完成。

End

精彩回顾点击“阅读原文”下载内容